در بازشناسی گفتار پیوسته مدل سازی وابسته به متن می تواند موجب افزایش دقت بازشناسی و در عین حال افزای تعداد مدلها شود. این افزایش در تعداد مدلها می تواند مواجهه با کمبود داده های آموزشی را موجب گردد. روشهای مختلفی همانند گره زدن پارامترهای مدلها یا استفاده از تخمین MAP برای غلبه بر این مشکل به کار می روند. در این مقاله روشی جدید برای آموزش ارائه شده است که محاسن هر دو روش MAP و گره زدن را تواما و به نتایج بهتری نیز منجر می شود. مدلهای مورد استفاده از نوع سه آوایی می باشند.

یکی از فعالیت های شناختی پیچیده در چارچوب نظام آوایی زبان این است که اهل زبان قادرند گفتار پیوسته را به صورت زنجیره واژگان گسسته درک کنند. یافته های پیشین مطالعات آزمایشگاهی بر روی زبان فارسی و دیگر زبان ها نشان داده است، در زبان هایی که در آنها تکیه به طور ثابت (یا با فراوانی وقوع زیاد) در مرز آغازی یا پایانی واژه قرار می گیرد، شنونده ها از نشانه های آکوستیکی تکیه برای تقطیع گفتار پیوسته به واژگان سازنده آن استفاده می کنند. همچنین، این گونه فرض شده است که حضور تکیه در جایگاهی غیر از مرز آغازی یا پایانی واژه مانع از کارکرد مرزنمایی این عامل نوایی می شود. در زبان فارسی حضور واژه بست در واژه باعث می شود که تکیه در جایگاهی غیر از پایان واژه واقع شود. پژوهش حاضر با هدف پاسخ گویی به یک سوال اساسی درباره نحوه پردازش درکی گفتار پیوسته فارسی انجام شد: آیا مرز پایانی واژگان (اعم از واژگان حاوی واژه بست و واژگان فاقد واژه بست) با توجه به ساخت نواختی واژگان در دستور واجی آهنگ فارسی برای شنونده قابل شناسایی است؟ برای این منظور دوآزمایش شنیداری انجام شد. نتایج این آزمایش ها نشان داد که شنونده هر نقطه پایانی H (در یک گستره نواختی H) در منحنی آهنگ گفتار فارسی را به صورت مرز پایانی یک واژه شناسایی می کند. همچنین نتایج به دست آمده نشان داد که درک شنیداری الگوی برجستگی نوایی وابسته به محل وقوع قله H تکیه زیروبمی است.

روشهای مختلفی برای تطبیق گوینده در سیستمهای بازشناسی گفتار معرفی گردیده اند. در برخی روشها نظیر تخمین MAP تنها مدلهایی که داده آموزشی متناظرشان موجود باشد تازه سازی می شوند و برای بهبود قابل توجه دقت بازشناسی، داده آموزشی نسبتا زیادی مورد نیاز است. در برخی دیگر نظیر MLLR که تعدادی تبدیلات عمومی بر روی خوشه های مدلها اعمال می شود، برای دادگاه کم آموزشی نتایج مطلوبی حاصل می شود، اما با افزایش دادگان، کارایی به حد اشباع می رسد. در این مقاله روش جدیدی مطرح می شود که از مزایای هر دو بخش فوق برای دسترسی به کیفیت بالاتر بهره می برد. در این روش مدلهایی که داده آموزشی آنها موجود است به کمک تخمین MAP آموزش می بینند و برای مدلهایی که داده آموزشی (کافی) ندارند، با استفاده از روش MLLR  مقادیر پیشینه مناسب برای تخمین MAP تامین می شود. این روش، در عمل، بر روی یک سیستم آموزش دیده بر اساس دادگان فارس دات به نتایج بهتری نسبت به هر یک از دو روش MAP و MLLR دست یافته است.

این مقاله به بررسی یک مدل آماری زبان بر اساس دستجات منطقی دستوری زبان فارسی برای استفاده از بازشناسی گفتار پیوسته می پردازد. این مدل زبان بر اساس دستجات منطقی N- گرام با طول متغیر کار می کند و در آن بجای پیدا کردن الگوهای آماری مربوط به دنباله های کلمات، روابط بین دسته های منطقی از کلمات، مورد بررسی قرار می گیرند. این تحقیق در سه مرحله خوشه بندی کلمات، بدست آوردن مدل آماری زبان با استفاده از ساختار درختی و اعمال مدل زبان به سیستم بازشناسی انجام شده است. مهم ترین مزیت این مدل امکان پذیرسازی بازگشت به مسیر صحیح در شرایط که مدل آماری معمولی چنین اجازه ای را نمی دهد، می باشد.

مدلسازی وابسته به متن به عنوان شیوه ای مفید برای افزایش دقت مدلسازی در بازشناسی گفتار پیوسته مورد توجه است. معمولترین شکل پیاده سازی این شیوه، استفاده از مدلهای سه آوایی است. با این همه، تعداد زیاد این مدلها موجب می شود که در عمل، آموزش سیستم با مشکلات زیادی همراه باشد و دستیابی به آموزش مقاوم (Robust training) به سختی میسر گشته یا اصولا مقدور نشود. یکی از شیوه های حل این مشکل، استفاده از روش گره زدن (Tying) پارامترها است. در این مقاله خوشه بندی (Clustering) برای پارامترهای حالت مدل HMM صورت گرفته و حالتهای قرار گرفته در خوشه با یکدیگر گره زده شده اند تا در کل سیستم، تعداد پارامترها کاهش یافته و آموزش مقاوم حاصل شود. دو نوع دسته بندی یکی بر اساس پارامترهای مدلهای نهایی آموزش دیده و فاصله بین آنها و دیگری به کمک داده های آموزشی و بر مبنای درخت تصمیم گیری انجام شده است. در پیاده سازی روش اخیر به طراحی درخت تصمیم گیری بر اساس ویژگیهای آکوستیکی آواها در زبان فارسی و شباهتها و تفاوتهای آنها اقدام شده است. نتایج بدست آمده، موفقیت آمیز بودن هر دو روش را تایید کرده است. با این حال، مزیت روش دوم در امکانپذیر ساختن تخمین پارامترهای مدلهای دیده نشده است.

در این مقاله به معرفی شبکه های عصبی پیمانه ای عمیق و قابل رشد به منظور بهبود بازشناسی گفتار پیوسته پرداخته می شود. ساختار این شبکه ها و روش های پیش تعلیم معرفی شده برای آنها به گونه ای است که درعین هماهنگی با ساختار گفتار، در حافظه و محاسبات لازم صرفه جویی می شود. به دلیل قابلیت رشد این ساختارها، در تعلیم آنها اطلاعات فضایی-زمانی بردارهای بازنمایی در ورودی و اطلاعات فضایی-زمانی برچسب آوایی آنها را در خروجی شبکه عصبی می توان انجمن کرد. شبکه تعلیم یافته با این ساختار انجمن گر فضایی-زمانی دوگانه، می تواند زیرفضای زنجیره های معتبر آوایی دادگان را یاد بگیرد. بنابراین، در ساختار خود زنجیره های خروجی نامعتبر را پالایش کرده و زنجیره های درست را می دهد. جهت بررسی عملکرد این ساختارها، از دو دسته دادگان گفتاری فارس دات و فارس دات بزرگ استفاده شد. نتایج آزمایش ها نشان می دهند که می توان دقت بازشناسی آوا را برروی دادگان فارس دات تا %2.7 با استفاده از شبکه های عصبی پیمانه ای عمیق نسبت به مدل های مخفی مارکوف بالا برد، که با توسعه آنها به ساختار فضایی-زمانی دوگانه این نتیجه تا %5.1 بهبود می یابد. به دلیل عدم وجود برچسب های آوایی برای دادگان بزرگ، یک روش تعلیم نیمه سرپرستی شده برای تعلیم شبکه های عصبی برروی این دادگان پیشنهاد شده است که می تواند به درصد بازشناسی قابل مقایسه ای با مدل های مخفی مارکوف دست یابد.